Ngày 6.2.1937, Brown kết hôn với Sarah Baylen, người mà ông cho là đã làm cho ông quan tâm tới "hydrides of boron", một chủ đề liên quan đến công trình trong đó ông với Georg Wittig đã đoạt được giải Nobel Hóa học năm 1979.[1]. Họ có một người con trai.Brown cho rằng bà Sarah vợ ông đã giúp ông về nội trợ cũng như quản lý tài chính để ông có thể tập trung vào việc nghiên cứu. Theo lời ông, sau khi nhận giải Nobel ở Stockholm, thì ông giữ tấm huy chương còn bà giữ 100.000 dollar Mỹ tiền thưởng.

Ông qua đời ngày 19.12.2004 tại bệnh viện ở Lafayette, Indiana do bị nhồi máu cơ tim.